Multi-Head Attention Residuals
多头注意力残差：拆分深度路由查询突破单头瓶颈
🧭 多头深度路由 · 消除单头深度读瓶颈 ★ 深度解读
Independent Researcher · University of Wisconsin–Madison
将注意力残差的单头路由查询改为多头，零参数提升模型跨度，单头在大模型退化成有害
📌 工作参考价值（4 点）
- 推荐系统 Transformer 堆叠中，可借鉴 MHAR 替换标准残差连接：不同特征子空间（如用户长期兴趣 vs 短期行为）可从不同层检索信息，缓解单头深度读的妥协，预估中小尺寸实验见 100M–1B 连续改善。
- 单头深度路由在大模型上退化（1B 时比基线差 0.105），提示在大型 CTR/CVR 模型的多层聚合设计中应避免单一全局查询，分组路由更安全。
- 恒等转换方法（delta attention residuals）支持在已预训练模型上无损嫁接 MHAR 进行中训练，可迁移到推荐模型增量训练，避免 loss spike。
- 融合 Triton 路由内核将内存绑定操作的训练吞吐从 0.2–0.5× 提升至 0.55–0.88× 基线，类似的定制算子可优化推荐模型中层间特征重读的工程开销。